![arxiv：2502.12206v1 [CS.AI] 2025年2月16日](/simg/8/83a0040bd75286ed258ba3b033d6e887b6838904.webp)
机构名称：
¥ 1.0
随着大型语言模型（LLMS）继续发展，确保它们与Human的目标和价值观保持一致仍然是一个紧迫的挑战。一个关键问题是工具性的转变，在为给定的目标进行优化时，AI系统发展了意想不到的间隔目标，从而超越了最终的观点，并且偏离了人为意义的目标。这个问题在加强学习（RL）培训模型中特别相关，该模型可以产生创造性但意外的策略以最大程度地提高奖励。在本文中，我们通过比较经过直接RL优化的模型（例如O1模型）与从人类反馈（RLHF）进行增强学习的训练的模型进行比较。我们假设RL驱动的模型表现出更强的工具收敛趋势，因为它们以可能与人类意图失调的方式优化了目标指示行为。为了评估这一点，我们会引入仪表板1，这是用于评估RL训练LLM的仪器收敛的基准。最初的实验揭示了一个案例，其中一个旨在赚钱的模型不期望追求工具目标，例如自我复制，意味着工具融合的迹象。我们的发现有助于更深入地了解AI系统中的一致性挑战以及不限制模型行为带来的风险。
arxiv：2502.12206v1 [CS.AI] 2025年2月16日
主要关键词
![arxiv：2502.12206v1 [CS.AI] 2025年2月16日PDF文件第1页](/bimg/f/f6c7a9521148899f5aeaae6b277cc30712a6f234.webp)
![arxiv：2502.12206v1 [CS.AI] 2025年2月16日PDF文件第2页](/bimg/d/dcac82fe5d147cde088485a0c2e9e5ed027ed32c.webp)
![arxiv：2502.12206v1 [CS.AI] 2025年2月16日PDF文件第3页](/bimg/2/2c64fbe5b214fe74ea224edc1c19d578e5d23a35.webp)
![arxiv：2502.12206v1 [CS.AI] 2025年2月16日PDF文件第4页](/bimg/8/8f86a459747e28d9791e2af60c37f2db5f6b0ed4.webp)
![arxiv：2502.12206v1 [CS.AI] 2025年2月16日PDF文件第5页](/bimg/5/5f6217b0390779554ed642c1d0825129afb95246.webp)
相关文件推荐
![arxiv：2502.00832v1 [CS.CL] 2025年2月2日](/simg/4/460750c88b2c2a3b4270f4bf1f9583392a580e2b.webp)
![arxiv：2502.05739v1 [cs.cr] 2025年2月9日](/simg/8/8c90dfafcced8491bf122f9146142c704356b63d.webp)
![arxiv：2502.06651v1 [cs.cr] 2025年2月10日](/simg/8/85d07bd4f031075dcff413f6e20fae8b425df70c.webp)
![arxiv：2502.06956v1 [Quant-ph] 2025年2月10日](/simg/e/e5d48e0cf5320c7badff48c4e2d7683939a7f10c.webp)
![arxiv：2502.03124v1 [eess.sy] 2025年2月5日](/simg/3/33ae2427032dddacf611a2d02fbb8b420f4fa9fb.webp)
![arxiv：2502.04950v1 [Quant-ph] 2025年2月7日](/simg/6/62658c8c5932a77940998d5bbf5b5940842a4279.webp)
![arxiv：2502.08616v1 [physics.optics] 2025年2月12日](/simg/8/8f951540de4e0c49f787cb4d6e0dc9301842f228.webp)
![arxiv：2502.04250v1 [cond-mat.mes-hall] 2025年2月6日](/simg/e/e86f6a3cbfd2c80782d2669b3ef22eee55945349.webp)
![arxiv：2402.07016v1 [cs.ai] 2024年2月10日](/simg/9/9561106bbf3c742ff1228e38f3ed355eb69ea4a7.webp)